Chùa Lý Nhân: Chùa Lý Nhân thuộc địa phận thôn Lý Nhân, phường Yên Bình. Chùa thờ Phật, hệ thống tượng thờ trong chùa được bài trí tại tòa Thượng điện và tòa Tiền đường. Chùa là nơi giảng đạo cho các tăng ni, phật tử, là nơi sinh hoạt văn hoá tôn giáo cho nhân dân trong phường và các vùng lân cận.

Nhóm di tích phía Tây Nam của Quần thể danh thắng Tràng An trên địa bàn Tam Điệp có các di tích; Núi ốc; Núi ốp; Đồi Ông Cẩm (xã Yên Sơn) thuộc giai đoạn Văn hóa Đông Sơn cách ngày nay khoảng 2.000 năm xa hơn nữa về phía Tây Nam có di tích Núi Một; di tích Núi Hai (phường Bắc Sơn, thành phố Tam Điệp), thuộc giai đoạn trước Văn hóa Đông Sơn có niên đại cách ngày nay khoảng 3.000 năm cho thấy nhóm cư dân cổ ở Tràng An có quan hệ qua lại với nhóm cư dân ở khu vực đồi núi đá vôi Tam Điệp.